# 정규화

## 개요

정규화(Normalization)는 음성 인식 시스템에서 전처리 단계의 핵심 요소 중 하나로, 입력 음성 신호의 특성을 일관된 기준에 맞추어 변환하는 과정을 말합니다. 음성 데이터는 촬영 환경, 마이크 감도, 화자의 음량, 거리, 배경 소음 등 다양한 외부 요인에 의해 신호의 강도나 특성이 크게 달라질 수 있습니다. 이러한 변동성을 줄이고, 음성 인식 모델이 보다 안정적이고 정확하게 작동할 수 있도록 하기 위해 정규화가 수행됩니다.

정규화는 단순히 음성의 크기를 조정하는 것을 넘어, 주파수 대역, 스펙트럼 특성, 시간 축 정보 등 다양한 형태의 신호 특성에 적용될 수 있습니다. 이 문서에서는 음성 인식 전처리 과정에서의 정규화 기법의 개념, 목적, 주요 방법, 그리고 응용 사례를 중심으로 설명합니다.

## 정규화의 목적

음성 인식 시스템은 다양한 환경에서 수집된 음성을 처리해야 하므로, 입력 데이터의 일관성을 확보하는 것이 중요합니다. 정규화의 주요 목적은 다음과 같습니다:

- **신호 강도의 일관성 확보**: 화자가 마이크에 가까이 있거나 멀리 있을 때 음성의 볼륨이 크게 달라지기 때문에, 이를 평균적인 수준으로 조정합니다.
- **모델 학습의 안정성 향상**: 정규화된 입력은 딥러닝 모델의 학습 과정에서 기울기 소실(Vanishing Gradient)이나 폭주(Exploding Gradient)를 방지하는 데 도움을 줍니다.
- **잡음 환경에서의 강인성 확보**: 정규화는 특정 주파수 대역의 왜곡을 보정하여, 배경 소음이 있는 환경에서도 음성 특성을 일관되게 유지합니다.
- **다양한 하드웨어 간 호환성**: 다양한 마이크나 녹음 장비에서 수집된 데이터를 동일한 기준으로 변환하여 시스템의 일반화 능력을 높입니다.

## 주요 정규화 기법

### 1. 음량 정규화 (Amplitude Normalization)

가장 기본적인 정규화 방법으로, 음성 신호의 진폭(Amplitude)을 일정한 범위로 조정합니다. 일반적으로 최대 진폭을 1 또는 특정 dB 수준으로 맞추는 방식을 사용합니다.

예를 들어, 최대값 정규화(Max Normalization)는 다음과 같이 계산됩니다:

```math
x_{\text{norm}}(t) = \frac{x(t)}{\max(|x(t)|)}
```

이 방법은 신호의 피크가 일정한 수준에 도달하도록 하여, 클리핑(Clipping)을 방지하면서도 소리가 너무 작게 들리는 것을 막습니다.

### 2. RMS 정규화 (Root Mean Square Normalization)

신호의 평균적인 에너지를 기준으로 정규화하는 방법입니다. 순간적인 피크보다는 전체적인 음성의 강도를 반영하므로, 더 자연스러운 음량 조절이 가능합니다.

```math
x_{\text{norm}}(t) = \frac{x(t)}{\sqrt{\frac{1}{N}\sum_{t=1}^{N} x(t)^2}} \times \text{target\_rms}
```

target_rms는 목표 RMS 값으로, 일반적으로 -20 dBFS 정도로 설정됩니다.

### 3. 스펙트럼 정규화 (Spectral Normalization)

음성 신호를 주파수 영역(Frequency Domain)으로 변환한 후, 스펙트로그램의 각 주파수 대역에 대해 정규화를 수행합니다. 이는 MFCC(Mel-Frequency Cepstral Coefficients) 추출 전 단계에서 자주 사용됩니다.

대표적인 방법으로는 **Mean-Variance Normalization (MVN)** 이 있으며, 각 프레임의 MFCC 계수에 대해 평균을 0, 분산을 1로 조정합니다:

```math
c_{\text{norm}} = \frac{c - \mu}{\sigma}
```

여기서 $ c $는 MFCC 계수, $ \mu $는 평균, $ \sigma $는 표준편차입니다. 이 방법은 딥러닝 기반 음성 인식 모델(예: DeepSpeech, Wav2Vec)에서 입력 특성의 분포를 안정화하는 데 매우 효과적입니다.

### 4. CMVN (Cepstral Mean and Variance Normalization)

CMVN은 MFCC 계수에 대해 시간 축 전체에 걸쳐 평균과 분산을 정규화하는 기법입니다. 특히 화자 종속적인 특성(예: 음성의 음색)을 제거하고, 화자 간 일반화 성능을 높이는 데 유용합니다.

CMVN은 다음과 같이 적용됩니다:
- 전체 발화(Utterance)에 대해 MFCC 계수의 평균과 분산을 계산
- 각 프레임의 MFCC에서 평균을 빼고 분산으로 나눔

이 방법은 오프라인 처리에 적합하며, 실시간 시스템에서는 슬라이딩 윈도우 기반의 온라인 CMVN이 사용되기도 합니다.

## 응용 및 고려사항

- **실시간 시스템**: 실시간 음성 인식에서는 전체 발화를 미리 알 수 없으므로, 온라인 정규화 기법(예: 슬라이딩 윈도우 기반 MVN)이 필요합니다.
- **잡음 환경**: 정규화만으로 잡음을 제거할 수 없으므로, 노이즈 리덕션(Noise Reduction)과 결합하여 사용하는 것이 일반적입니다.
- **딥러닝 모델과의 호환성**: 최근의 End-to-End 음성 인식 모델은 파형(Waveform)을 직접 입력으로 사용하므로, 시간 영역 정규화(Time-domain Normalization)가 중요해지고 있습니다.

## 관련 기술 및 참고 자료

- **음성 전처리 (Speech Preprocessing)**: 정규화는 전처리의 일부로, 에코 제거, 잡음 제거, 피치 추정 등과 함께 적용됩니다.
- **MFCC 추출**: 정규화는 MFCC 계수 추출 후 또는 전에 적용될 수 있습니다.
- **딥러닝 음성 인식 모델**: Wav2Vec 2.0, DeepSpeech, Whisper 등은 정규화된 입력을 선호합니다.

### 참고 문헌
- Huang, X., Acero, A., & Hon, H. W. (2001). *Spoken Language Processing*. Prentice Hall.
- Amodei, D., et al. (2016). "Deep Speech 2: End-to-End Speech Recognition in English and Mandarin." *ICML*.
- Hinton, G., et al. (2012). "Deep Neural Networks for Acoustic Modeling in Speech Recognition." *IEEE Signal Processing Magazine*.

정규화는 음성 인식 시스템의 성능 향상에 기여하는 기초적이지만 필수적인 전처리 단계로, 시스템의 정확도와 강인성을 높이는 데 핵심적인 역할을 합니다.